Bạch sinh ra ở Quế Lâm, Quảng Tây. Ông là hậu duệ của một thương nhân Ba Tư tên là Baiderluden; con cháu Baidurluden đổi họ thành Bạch. Tên Hồi của ông là Omar Bạch Sùng Hy.[2] Ông là người thứ hai trong ba anh em trai. Gia đình họ được cho là đến từ Tứ Xuyên.

Năm 14 tuổi, Bạch nhập học trường Thiếu sinh quân Quảng Tây ở Quế Lâm, một ngôi trường kiểu hiện đại do Thái Ngạc tổ chức để hiện đại hóa Quân đội Quảng Tây. Bạch và các bạn đồng học Hoàng Thiệu Hoành và Lý Tông Nhân về sau trở thành ba lãnh tụ của quân đội Quảng Tây. Có một dạo, Bạch bỏ học tại trường quân sự theo yêu cầu của gia đình và theo học tại trường dân sự Luật và Chính trị Quảng Tây.

Cách mạng Tân Hợi bùng nổ năm 1911, Bạch gia nhập một đoàn Sinh viên Cảm tử. Hoàng Thiệu Hoành là đội trưởng. Sau khi đăng lính vào quân đoàn Nam Kinh, ông chuyển từ quân đoàn sang học trường Lục quân Trừ bị số 2 ở Vũ Xương. Ông tốt nghiệp năm 1914, sau đó trải qua khóa huấn luyện 6 tháng trước khi nhập học khóa 3 trường quân sự Bảo Định vào tháng 6 năm 1915. Ông trở thành sĩ quan tập sự Sư đoàn 1 Quảng Tây và trở lại Quảng Tây.[3]

Bạch vươn lên nắm quyền trong giai đoạn quân phiệt bằng cách liên minh với Hoàng Thiệu Hoành (phó chỉ huy Tiểu đoàn "kiểu mẫu" trong Sư đoàn 1 Quảng Tây) và Lý Tông Nhân để ủng hộ lãnh tụ Quốc dân đảng Tôn Dật Tiên. Liên minh này, mang tên Tân Quế hệ, chống lại quân phiệt Quảng Tây Lục Vinh Đình (陸榮廷) năm 1924. Liên minh thắng lợi giành được quyền kiểm soát Quảng Tây cho Quốc dân Đảng, và Bạch và Lý đại diện nhóm lãnh đạo Quảng Tây mới.

Trong Chiến tranh Bắc phạt (1926–1928), Bạch là Tham mưu trưởng Quân đội Cách mạng Quốc dân và có nhiều cống hiến trong những chiến thắng trước các thế lực quân phiệt phương Bắc, với chiến lược sử dụng tốc độ, cơ động và sự bất ngờ để đánh bại lực lượng địch lớn hơn. Ông chỉ huy quân Đông lộ đánh chiếm Hàng Châu và Thượng Hải năm 1927. Là Tư lệnh đồn trú Thượng Hải, Bạch cũng tham gia cuộc thanh trừng các phần tử Cộng sản trong Quân đội Cách mạng Quốc dân ngày 4 tháng 4 năm 1927 và thanh trừng các công đoàn ở Thượng Hải. Bạch cũng chỉ huy các đơn vị tiên phong tiến vào Bắc Kinh đầu tiên và được xem là viên tư lệnh có công kết thúc Chiến tranh Bắc phạt. Với những công lao trong Chiến tranh Bắc phạt, ông được tôn xưng danh hiệu Tiểu Gia Cát. Bạch chỉ huy lực lượng Quốc dân đảng trong vụ Thảm sát Thượng Hải 1927, bắt bớ và giết hại những người Cộng sản. Ông cho phép lãnh tụ Cộng sản Chu Ân Lai bỏ trốn sau khi ra lệnh bắt giữ ông ta.[4] Truyền thông phương Tây về sau đặt cho ông biệt danh "Người chặt đầu Cộng sản".[5]

Năm 1928, trong Chiến tranh Bắc phạt, Bạch chỉ huy quân Quốc dân đảng đánh bại tướng Trương Tông Xương thuộc Phụng hệ, bắt sống 2 vạn trong tổng số 5 vạn quân của ông ta và suýt nữa bắt được cả Trương, nhưng Trương đã kịp trốn thoát sang Mãn Châu.[6]

Bạch có trong tay khoảng 2.000 lính Hồi trong lúc ở lại Bắc Kinh năm 1928 sau Bắc phạt, và tạp chí TIME tường thuật rằng họ hoành hành khắp Bắc Kinh.[7] Tại Bắc Kinh, tháng 6 năm 1928, Bạch Sùng Hy tuyên bố rằng các lực lượng Quốc dân đảng sẽ đánh chiếm Mãn Châu, và các kẻ thù của Quốc dân đảng sẽ "tan tác như lá khô trước gió".

Dự định của Bạch phá sản vào tháng 12 năm 1928. Ông định huy động 6 vạn quân từ Đông Trung Hoa sang Tân Cương để xây dựng đường sắt, như một phòng tuyến ngăn chặn sự bành trướng của Nga Xô ở Tân Cương. Kế hoạch này được một số người cho là nhằm chống lại Phùng Ngọc Tường.[8]

Khi Chiến tranh Bắc phạt kết thúc, Tưởng Giới Thạch bắt đầu tìm cách loại bỏ các thế lực Quảng Tây. Có lúc vào năm 1929, Bạch phải trốn sang Việt Nam. Từ năm 1930-1936, Bạch có công trong công cuộc tái thiết Quảng Tây trở thành một tỉnh "kiểu mẫu" với chế độ hành chính tiến bộ. Quảng Tây cung cấp hơn 90 vạn lính trong chiến tranh chống Nhật.

Trong Nội chiến Trung Hoa, Bạch chống lại phe Cộng sản. Trong Vạn lý Trường chinh, Bạch Sùng Hy cho phép quân Cộng sản đi Quảng Tây.[4]

Có năng lực và mẫn cán là một trong những điểm nội bật của Bạch tại Trung Hoa.[9]